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1^ (57) Abstract: In order to achieve the aim of the invention, a method for the coding of a series of images is disclosed, whereby 
base information and additional information are determined for the series of images. Said images are coded by means of the base 
information and the additional information, whereby the additional information guarantees a progressive improvement in image 
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quality. 
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(57) Zusammenfassung: Zur Losung der Aufgabe wird ein Verfahren zur Codierung einer Folge von Bildem angegeben, bei dem 
fiir die Folge von Bildem eine Basisinformation und eine Zusatzinformation bestimmt werden und die Folge von Bildem anhand 
der Basisinformation und der Zusatzinformation codiert wird, wobei die Zusatzinformation eine progressive Verbesserang der Co- 
dierungsqualitat gewahrleistet. 



wo 01/86958 Al llllllilllllllllllllllllllllllllllllllllllllllli 



— vor Ablauf der fur Anderungen der Ampruche geltenden 
Frist; Verdffentlichung wird wiederholt, falls Anderungen 
eintreffen 



Zur Erkldrung der Zweibuchstaben-Codes und der anderen 
AbkUrzungen wird auf die Erkldrungen ("Guidance Notes on 
Codes and Abbreviations") am Anfangjeder reguldren Ausgabe 
der PCT-Gazette verwiesen. 
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Beschreibung 

Verfahren und eine Anordnung zur Codlerung bzw. Decodierung 
einer Folge von Bildern 

5 

Die Erfindung betrifft ein Verfahren und eine Anordnung zur 
Codierung bzw. Decodierung einer Folge von Bildern. 

Ein Verfahren zur Bildkomprimierung mit dazugehoriger 
10 Anordnung ist bekannt aus [1] . Das bekannte Verfahren dient 
im MPEG-Standard als Codierverf ahren und basiert im 
wesentlicheri auf der hybriden DCT (Diskreten Cosinus 
Transformation) mit Bewegungskompensation. Ein ahnliches 
Verfahren wird ftir die Bildtelef onie mit n x 64kbit/s (CCITT^ 
15 Empfehlung H.261), ftir die TV-Kontribution (CCR-Empf ehlung 
723) mit 34 bzw. 45Mbit/s und ftir Multimedia-Applikationen 
mit l,2Mbit/s (lSO-MPEG-1) verwendet . Die hybride DCT besteht 
aus einer zeitlichen Verarbeitungsstuf e, die die 
Verwandtschaf tsbeziehungen auf einanderf olgender Bilder 
2 0 ausnutzt, und einer 5rtlichen Verarbeitungsstuf e^ die die 
Korrelation innerhalb eines Bildes ausnutzt. 

Die ortliche Verarbeitung ( Intraf rame-Codierung) entspricht 
im wesentlichen der klassischen DCT-Codierung. Das Bild wird 

25 in Blocke von 8x8 Bildpunkten zerlegt, die jeweils mittels 

DCT in den Frequenzbereich transf ormiert werden. Das Ergebnis 
ist eine' Matrix von 8x8 Koef f izienten, die naherungsweise die 
zweidimensionalen Ortsf requenzen im transf ormierten Bildblock 
widerspiegeln. Ein Koeffizient mit Frequenz 0 (Gleichanteil) 

30 stellt einen mittleren Grauwert des Bildblocks dar. 

Nach der Transformation findet eine Datenexpansion statt. 
Allerdings wird in nattirlichen Bildvorlagen eine 
Konzentration der Energie um den Gleichanteil (DC-Wert) 
35 stattfinden, wahrend die hochstf requenten Koef f izienten meist 
nahezu Null sind. 
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In einem nachsten Schritt erfolgt eine spektrale Gewichtung 
der Koef fizienten, so dafi die Amplitudengenauigkeit der 
hochf requenten Koef fizienten verringert wird. Hierbei nutzt 
man die Eigenschaf ten des menschlichen Auges aus, das hohe 
Ortsfrequenzen weniger genau auflost als niedrige. 

Ein zweiter Schritt der Datenreduktion erfolgt in Form einer 
adaptiven Quant is ierung, durch die die Amplitudengenauigkeit 
der Koef fizienten weiter verringert wird bzw, durch die die 
kleinen Amplituden zu Null gesetzt werden. Das MaJ3 der 
Quantisierung hangt dabei vom Ftillstand des Ausgangspuf f ers 
ab: Bei leerem Puffer erfolgt eine feine Quantisierung, so 
dafi mehr Daten erzeugt werden, wahrend bei vollem Puffer 
grober quantisiert wird, wodurch sich die Datenmenge 
reduziert . 

Nach der Quantisierung wird der Block diagonal abgetastet 
("zigzag"-Scanning) , anschliefiend erfolgt eine 
Entropiecodierung, die eine weitere Datenreduktion bewirkt. 
Hierftir werden zwei Effekte ausgenutzt: 

1. ) Die Statistik der Amplitudenwerte (hohe Amplitudenwerte 

treten seltener auf als kleine, so daB den seltenen 
Ereignissen lange und den haufigen Ereignissen kurze 
Codeworter zugeordnet werden (Variable-Length-Codierung, 
VLC) . Auf diese Weise ergibt sich im Mittel eine 
geringere Datenrate als bei einer Codierung mit fester 
Wortlange. Die variable Rate der VLC wird anschlieiSend 
im Puf ferspeicher gegiattet. 

2. ) Man nutzt die Tatsache aus, daJ3 von einem bestimmten 

Wert an in den meisten Fallen nur noch Nullen folgen. 
Statt aller dieser Nullen ubertragt man lediglich einen 
EOB-Code (End Of Block), was zu einem signif ikanten 
Codiergewinn bei der Kompression der Bilddaten fiihrt. 
Statt der Ausgangsrate von bspw. 512bit sind dann nur 
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4 6bit fur diesen Block zu iibertragen;. was einem 
Kompressionsf aktor von tiber 11 entspricht. 

Einen weiteren Kompressionsgewinn erhalt man durch die 
5 zeitliche Verarbeitung (Interf rame-Codierung) . Zur Codierung 
von Dif f erenzbildern wird weniger Datenrate benotigt als ftir 
die Originalbilder, denn die Amplitudenwerte sind weitaus 
geringer . 

10 Allerdings sind die zeitlichen Differenzen nur klein, wenn 
auch die Bewegungen im Bild gering sind. Sind hingegen die 
Bewegungen im Bild grofi, so entstehen groBe Differenzen, die 
wiederum schwer zu codieren sind, Aus diesem Grund wird die 
Bild-zu-Bild-Bewegung gemessen (Bewegungsschatzung) und vor 

15 der Dif f erenzbildung kompensiert (Bewegungskompensation) . 

Dabei wird die Bewegungsinf ormation mit der Bildinf ormation 
■Qbertragen, wobei tiblicherweise nur ein Bewegungsvektor pro 
Makroblock (z.B. vier 8x8-Bildbl6cke) verwendet wird. 

20 Noch kleinere Amplitudenwerte der Dif f erenzbilder werden 
erhalten, wenn statt der verwendeten Pradiktion eine 
bewegungskompensierte bidirektionale Pradiktion benutzt wird* 

Bei einem bewegungs kompensiert en Hybridcoder wird nicht das 
25 Bildsignal selbst transf ormiert, sondern das zeitliche 

Dif f erenzsignal . Aus diesem Grund verftigt der Coder auch iiber 
eine zeitliche Rekursionsschleif e, denn der Pradiktor muB den 
Pradiktionswert aus den Werten der bereits ubertragenen 
(codierten) Bilder berechnen. Eine identische zeitliche 
30 Rekursionsschleife befindet sich im Decoder, so daB Coder und 
Decoder vollig synchronisiert sind. 

Im MPEG-2~Codierverf ahren gibt es hauptsachlich drei 
verschiedene Methoden, mit denen Bilder verarbeitet werden 
35 konnen: 
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I-Bilder: Bei den I-Bildern wird keine zeitliche Pradiktion 
verwendet, d.h,, die Bildwerte warden direkt 
transf ormiert und codiert. I-Bilder werden 
verwendet, um den Decodiervorgang ohne Kenntnis der 
5 zeitlichen Vergangenheit neu beginnen zu konnen, 

bzw. um eine Resynchronisation bei 
tJbertragungsf ehlern zu erreichen. 



P-Bilder; Anhand der P-Bilder wird eine zeitliche Pradiktion 
10 vorgenommen, die DCT wird auf den zeitlichen 

Pradiktionsf ehler angewandt . 

B-Bilder: Bei den B-Bildern wird der zeitliche bidirektionale 
Pradiktionsf ehler berechnet und anschlieBend 
15 transf ormiert . Die bidirektionale Pradiktion 

arbeitet grundsatzlich adaptiv^ d.h. es wird eine 
Vorwartspradiktion, eine Riickwartspradiktion oder 
eine Interpolation zugelassen. 



20 Ein Bildsequenz wird bei der MPEG-2-Codierung in sog. GOPs 

(Group Of Pictures) eingeteilt. n Bilder von einem I-Bild zum 
nachsten bilden eine GOP. Der Abstand zwischen den P-Bildern 
wird mit m bezeichnet, wobei sich jeweils m-1 B-Bilder 
zwischen den P-Bildern befinden. Die MPEG-Syntax tiberlaUt es 

25 jedoch dem Anwender, wie m und n gewahlt werden, m=l 

bedeutet, dafi keine B-Bilder verwendet werden, und n=l 
bedeutet, dalJ nur I-Bilder codiert werden. 



Aus [2] ist ein Verfahren zur Bewegungsschatzung im Rahmen 
30 eines Verfahrens zur blockbasierten Bildcodierung bekannt.. 
Dabei wird vorausgesetzt , dafi ein digitalisiertes Bild 
Bildpunkte aufweist, die in Bildblocken von insbesondere 8x8 
Bildpunkten oder 16x16 Bildpunkten zusammengef afit sind. 
Gegebenenf alls kann ein Bildblock auch mehrere Bildblocke 
35 umfassen. Ein Beispiel hierfiir stellt ein Makroblock mit 6 
Bildblocken dar, von denen 4 Bildblocke ftir 
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Helligkeitsinformation und 2 Bildblocke fur Farbinformation 
vorgesehen sind. 

Bei einer Folge von Bildern wird ftir ein zu codierendes Bild 
unter Berticksichtigung der Bildblocke dieses Bildes wie folgt 
5 verfahren: 

■ Es wird ftir den Bildblock, fur den eine 
Bewegungsschatzung durchgeftihrt werden soli, in einera 
zeitlich vorhergehenden Bild, ausgehend von einem 
Bildblock, der sich in der gleichen relativen 

10 Position in dem vorhergehenden Bild befand 

(== vorangegangener Bildblock) , ein Wert fur ein 
FehlermajB bestiinmt. Dazu wird bevorzugt eine Summe 
liber die Betrage der Differenzen von den Bildpunkten 
zugeordneter Codierungsinf ormation des Bildblocks und 

15 des vorangegangenen Bildblocks bestiinmt. 

Unter Codierungsinf ormation ist hierbei eine 
Helligkeitsinformation (Luminanzwert ) und/oder eine 
Farbinformation (Chrominanzwert ) zu verstehen, welche 
jeweils einem Bildpunkt zugeordnet ist. 

2 0 "In einem Suchraum vorgebbarer Gro-Be und Form um die 

Ausgangsposition in dem zeitlich vorhergehenden Bild 
wird jeweils ftir ein Gebiet derselben GroBe des 
vorangegangenen Bildblocks, verschoben um einen oder 
einen halben Bildpunkt, ein Wert des FehlermaBes 

25 bestimmt. 

■ In einem Suchraum der GroBe nxn-Bildpunkte ergeben 

2 

sich n (Fehler-) Werte. Es wird derjenige verschobene 
vorangegangene Bildblock in dem zeitlich 
vorhergehenden Bild ermittelt, fur den das FehlermaB 

30 einen minimalen Fehlerwert ergibt. Ftir diesen 

Bildblock wird angenommen, daB dieser vorangegangene 
Bildblock mit dem Bildblock des zu codierenden 
Bildes, ftir den die Bewegungsschatzung durchgeftihrt 
werden soil, am besten tibereinstimmt . 

35 ■ Das Ergebnis der Bewegungsschatzung ist ein 

Bewegungsvektor, mit dem die Verschiebung zwischen 
dem Bildblock in dem zu codierenden Bild und dem 
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ausgewahlten Bildblock in dem zeitlich vorhergehenden 
Bild beschrieben wird. 

■ Eine Kompression der Bilddaten wird dadurch erreicht, 
dafi der Bewegungsvektor und das Fehlersignal codiert 

5 werden . 

■ Insbesondere wird die Bewegungsschatzung fur jeden 
Bildblock eines Bildes durchgefiihrt . 

Ein objektbasiertes Bildkompressionsverf ahren basiert auf 
einer Zerlegung des Bildes in Objekte itiit beliebiger 
Berandung. Die einzelnen Objekte werden in verschiedenen 
"Video Object Plans" getrennt voneinander codiert, tibertragen 
und in einem Empf anger (Decoder) wieder zusammengesetzt . Wie 
oben beschrieben, wird bei herkommlichen Codierverf ahren das 
gesamte Bild in quadratische Bildblocke unterteilt. Dieses 
Prinzip wird auch bei obj ektbasierten Verf ahren ubernommen, 
indem das zu codierende Objekt in quadratische Blocke 
unterteilt und ftir jeden Block separat eine 
Bewegungsschatzung mit einer Bewegungskompensation 
durchgefiihrt wird. 

Bei der trbertragung einer Folge von Bildern (Bilddaten) liber 
einen gestorten Kommunikationskanal, insbesondere einen 
mobilen (Funk-)Kanal oder einen verlustbehaf teten 
25 drahtgebundenen Kanal, konnen Telle der Bilddaten verloren 

gehen. Ein solcher Verlust der Bilddaten aufiert sich in Form 
drastischer Qualitatseinbrtiche in mehr oder weniger groBen 
Bildbereichen. Da, wie. oben beschrieben, bei 
Bildcodierung/Bilddecodierung Verfahren der 
3 0 Bewegungsschatzung mit Bewegungskompensation eingesetzt 

werden, verschwindet die Bildstorung auch dann nicht, wenn 
der ttbertragungskanal wieder eine fehlerfreie Ubertragung 
gewahrleistet • Dies liegt daran, daiJ sich bei der 
Bewegungsschatzung insbesondere ein einmal auftretender 
35 Fehler bis zur Ubertragung des nachsten Vollbildes 

(Intrabild) fortbesteht^ Es erfolgt daher eine auBerst 
storende Fehlerf ortpf lanzung. 



10 



15 



20 



wo 01/86958 



PCT/DEOl/01688 



7 

Videodatenkompressionsverfahren nach bekannten Standards 
H.261, H,263, MPEG-1/2/4 verwenden eine bewegungskompensierte 
Pradiktion (Bewegungsschatzung mit Fehlerkorrektur) und eine 
5 transformationsbasierte Restf ehlercodierung, wobei bevorzugt 
die diskrete Cosinustrans formation als 

Trans format ionscodierung eingesetzt wird. MPEG-2 enthalt 
Vorschiage ftir eine skalierbare Codierung (hierarchische 
Codierung) . Dabei wird ein Bild unterteilt in eine 

10 Basisinformation mit einer vorgegebenen Bildqualitat und 
einer Zusatzinf ormation, die zur Herstellung einer 
vollstandigen Bildqualitat (ausreichende Bildqualitat) 
zusatzlich codiert und ubertragen wird. Bei 
Ubertragungsf ehlern im Bereich der Zusatzinf ormation ist 

15 immer noch sichergestellt , daB das jeweilige Bild in einer 
Qualitat, die durch die Basisinformation hergestellt ist, 
rekonstruiert werden kann. 

Die Aufgabe der Erfindung besteht darin, eine Moglichkeit der 
20 fehlertoleranten Codierung einer Folge von Bildern anzugeben, 
wobei insbesondere eine moglichst effiziente Nutzung des 
gestorten Kanals hinsichtlich der Bildqualitat der Folge von 
Bildern erreicht wird. 

25 Diese Aufgabe wird gemafi den Merkmalen der unabhangigen 

Patentanspriiche gelost. Weiterbildungen der Erfindung ergeben 
sich auch aus den abhangigen Anspruchen. 

Zur Losung der Aufgabe wird ein Verfahren zur Codierung einer 
30 Folge von Bildern angegeben, bei dem fur die Folge von 

Bildern eine Basisinformation und eine Zusatzinf ormation 
bestimmt werden anhand der folgenden Schritte. 

(1) Die Basisinformation wird anhand eines Verfahrens zur 
Quellencodierung ermittelty. wobei sich bei der 
35 Quellencodierung eine Restfehlerinf ormation zwischen 

der Folge von Bildern und einer codierten Folge von 
Bildern ergibt. 
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(2) Die Zusatzinformation zur graduellen Darstellung 

einer. Restf ehlerinf ormation wird erzeugt, indem die 
Restfehlerinformation in Frequenzbereiche unterteilt 
und graduell skaliert wird. 
5 Es wird die Folge von Bildern anhand der Basisinf ormation und 
der Zusatzinformation codiert, wobei die Zusatzinformation 
eine progressive Verbesserung der Codierungsqualitat 
gewahrleistet . 

Hierbei ist es besonders von Vorteil, dass ein bereits 
existierender Quellencodierer, also insbesondere ein System 
aus Transformation, Quantisierung und Entropiecodierung, eine 
gewisse Grundqualitat der codierten Folge von Bildern 
gewahrleistet. Dartiber hinaus kann, vorzugsweise abhangig von 
der verbleibenden Bandbreite eines Ubertragungskanals, eine 
Zusatzinformation ubertragen werden, die eine allmahliche 
(progressive) Qualitatsverbesserung der Folge von Bildern 
gewahrleistet, Hierbei wird ' insbesondere die 
Zusatzinformation so nbertragen, dass im Hinblick auf eine 
Qualitatsverbesserung des einzelnen zu codierenden Bildes 
wesentliche Telle der Zusatzinformation zuerst tibertragen 
werden. Weiterhin ist es von Vorteil, dass die Verbesserung 
der Qualitat dieses Bildes gleichmaBig ftir das Bild erfolgt. 

25 Eine Weiterbildung besteht darin, dass die Folge von Bildern 
als ein Bitstrom tiber einen Kanal zu einem Empfanger 
ubertragen wird, Insbesondere kann der Kanal Storungen 
ausgesetzt sein, was dazu fuhrt, daJi auf dem Kanal seine 
eigentlich nutzbare Bandbreite wahrend dieser Storungen nicht 

30 nutzbar ist. Hierbei ist zu erwahnen, dass die 

Quellencodierung die Basisinf ormation zur Verftigung stellt, 
die anhand der Zusatzinformation (graduell) erweitert wird 
und liber den Kanal in Form eines Bitstroms zu dem Empfanger 
ubertragen wird. Im Hinblick auf den Kanal ist es von 

35 Bedeutung, dass dieser abhangig von Storungen eine unter 
Umstanden stark variierende Bandbreite aufweist. Die 
Storungen konnen nicht bzw. schlecht vorhergesagt werden, so 



15 
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dass Einbriiche in der Bandbreite des Kanals ohne Einsatz der 
Zusatzinf ormation dazu ftihren wtirde^ dass die Folge von 
Bildern nicht mehr bzw. in deutlich venainderter Qualitat von 
dem Erapf anger erkennbar ware. Insbesondere gewahrleistet die 
5 auch fllr den f ehlerbehaf teten Kanal ausgelegte 

Basisinformation eine gewisse Grundqualitat der codierten 
Folge von Bildern, deren Qualitat anhand besagter 
Zusatzinf ormation (graduell) verbessert wird. Treten auf dem 
Kanal Storungen auf, so gehen Telle der Zusatzinformation 

10 verloren, was dazu ftihrt, dass in den meisten Fallen immer 
noch eine graduelle Verbesserung gegenuber der durch die 
Basisinformation gewahrleisteten Bildqualitat sichergestellt 
ist* Dazu ist die Zusatzinformation vorzugsweise derart 
aufbereitet ist, dass zuerst die hinsichtlich einer moglichen 

15 Verbesserung des Bildes signifikante Information iiber den 
Kanal (in dem Bitstrom) ubertragen wird. 

Eine mogliche Anwendung besteht darin, dass auch bei einem 
stabilen, das heifit weitgehend ungestorten, Ubertragungskanal 

20 von dem Empf anger die Folge von Bildern in unterschiedlicher 
Qualitat abgerufen werden kann. Die Qualitatsskalierung 
erfolgt auf die oben beschriebene Art und Weise. Ein 
mogliches Einsatzfeld ist eine "Video-on-Demand" -Anwendung, 
die darauf basiert, dass der Benutzer eine von ihm 

25 vorgegebene Qualitat empfangen will und auch nur ftir diese 
Qualitat bezahlt. 

Die Restf ehlerinformation kann anhand von Dif f erenzbildern im 
Bildbereich oder in einem Transf ormationsbereich bestimmt 

30 werden. Ein Beispiel ftir eine einen solchen 

Transf ormationsraum aufspannende Transformation ist die 
diskrete Cosinustransf ormation (DCT-Transf ormation) . In 
diesem Transf ormationsraum kann die Differenz zwischen dem 
aktuellen transf ormierten Bild und dem zeitlich 

35 vorangegangenen riicktransf ormierten Bild der Folge von 

Bildern bestimmt werden. Hierbei bedeutet riicktransf ormiert 
insbesondere, dass nach der Quantisierung eine 
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De quant is ierung des aktuellen Bildes erfolgt und man somit 
ein gegentiber dem aktuellen Bild verlustbehaf tetes Bild 
erhalt, das von dem aktuellen Bild um eine 

Restf ehlerinf ormation abweicht. Wird das dequantisierte Bild 
5 auch noch einer inversen Transformation unterzogen, so erhalt 
man das mit einem Restfehler behaftete Bild in dem nicht 
transf ormierten Bildbereich (Restf ehlerinf oirmation im 
Bildbereich) . 

10 Eine andere Weiterbildung besteht darin, dass das Verfahren 

zur Quellencodierung ein standardisiertes Bildcodierverf ahren 
ist. Insbesondere kann es sich dabei um ein 

Bildcodierverf ahren nach einem MPEG-Standard Oder nach einem 
H. 2 6x-Standard handeln. 

15 

Eine zusatzliche Weiterbildung besteht darin, dass die 
Unterteilung in Frequenzbereiche derart durchgefiihrt wird, 
dass die Zusatzinf ormation fur jedes Bild der Folge von 
Bildern ihrer Wichtigkeit nach libertragen wird. 

20 

Eine andere Ausgestaltung der Erfindung ist es, dass iiber 
eine vorgegebene Menge von Werten der Zusatzinf ormation 
iterativ fUr alle Werte dieser Menge jeweils die werthochsten 
Bits in den Bitstrom eingespeist werden. Damit ist 

25 gewahrleistet, dass zunSchst in dem Bitstrom an den Empfanger 
die wichtigsten Bits libertragen werden. Somit stellt sich 
wiederiom bei Abbruch des Bitstroms die fur das jeweilige Bild 
tlbertragene Information in der ftir das Bild bestmoglichen 
Qualitat dar. In besagter Iterationsschleif e stellt ein 

3 0 nachf olgender Durchgang sicher, dass ein dem hochstwertigen 
Bit nachf olgendes Bit, das dann wiederum das hochstwertige 
noch nicht libertragene Bit ist, tibertragen wird. Tritt jetzt 
eine Storung in dem Kanal auf, so ist sichergestellt, dass 
ftir die Menge von Werten, die zu tibertragen sind, jeweils die 

35 signif ikantesten ("besten") Bits tibertragen wurden. Die 
restlichen Bits fur eine Auflosung von n-Bits des Werts 
konnen dann mit Null aufgeftillt werden. 
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Hierbei sei angemerkt^ dass im beschriebenen Szenario davon 
ausgegangen wird, dass die Folge von Bildern auf Seite eines 
Encoders codiert und tiber den beschriebenen Kanal zu einem 
5. Decoder tibertragen wird. Der Decoder sorgt ftlr die 

Wiederherstellung der Basisinf ormation und, soweit mOglich, 
der Zusatzinf ormation und stellt insbesondere die erhaltene 
Folge von Bildern dar. 

10 Hierbei ist sicherzustellen, dass der Decoder auf 

Empf angerseite weiii, wie mit der Zusatzinf ormation zu 
verfahren ist, das heiiit inwiefern die Zusatzinf ormation zu 
verarbeiten ist, um eine Verbesserung der anhand der 
Basisinf ormation zur VerfUgung gestellten Bildqualitat zu 

15 erreichen ist. Somit stellt der Quellencodierer eine 
funktionale Basisschicht dar, die als Resultat eine 
Basisinf ormation liefert. Zu der Basisschicht gibt es eine 
Erweiterungsschicht, die einen zusatzlichen Dienst, namlich 
die Verbesserung der Bildqualitat fur jedes einzelne 

20 insbesondere blockcodierte Bild anhand der Zusatzinf ormation 
erbringt, Uber dieser Erweiterungsschicht oder als Teil 
derselben kann ferner eine Anwendung (sschicht) vorgesehen 
sein, die eine vorgegebene Qualitat der Bilder explizit 
regelbar ausftihrt, bspw. bei o.g. Video-on-Demand- 

25 Applikation. So kann ein Benutzer auf Seite des Decoders 
innerhalb der Anwendung (sschicht) die fur ihn geeignete 
Vorauswahl treffen; die zugehorige Qualitat der Bilder wird 
durch Basis- und Erweiterungsschicht, also anhand der Basis- 
und Zusatzinf ormation bereitgestellt . Somit kann ein 

30 Wahlmodus und ein daran geknupfter Abrechnungsmodus fiir die 
genutzte Bandbreite der Video-on-Demand-Applikation 
bereitgestellt werden: Der Kunde zahlt die von ihm 
angeforderte Bandbreite; der Kanal stellt in diesem Szenario 
nicht die Engstelle des Systems dar. 

35 

Auch ist es eine Weiterbildung, dass bei der Ermittlung der 
Zusatzinf ormation die Basisinf ormation berticksichtigt wird* 
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Hierbei 1st es insbesondere von Vorteil, dass in der 
Basisinf ormation bereits eine verlustbehaf tete Bildcodierung 
vorgenommen wurde, die bestimmte Ergebnisse bereitstellt, die 
effizient in die Bestimmung der Zusatzinf ormation einflieBen 
5 kann . 



Insbesondere kann die Zusatzinf ormation im Rahmen einer 
Nachbearbeitung ("Post-Processing") dem Bitstrom beigeftigt 
werden. Solch eine Nachbearbeitung hat u.a. den Vorteil, daJ5 
10 identif izierbar ist, welche Teile der Zusatzinf ormation 
welche Qualitatsverbesserungen bewirken und somit die 
hinsichtlich der Qualitatsverbesserungen signif ikantesten 
Teile zuerst in den Bitstrom eingeftlgt werden konnen. 

15 Ferner wird zur Losung der Aufgabe ein Verfahren zur 

Decodierung einer Folge von Bildern angegeben, welche Folge 
von Bildern nach einem der oben beschriebenen Verfahren 
codiert wurde. 

20 Auch wird zur Losung der Aufgabe eine Anordnung zur Codierung 
einer Folge von Bildern angegeben, die eine Prozessoreinheit 
aufweist, die derart eingerichtet ist, dass 

a) fur die Folge von Bildern eine Basisinf ormation und 
eine Zusatzinf ormation bestiramt sind anhand der 
25 folgenden Schritte: 

(1) die Basisinf ormation wird anhand eines Verfahrens 
zur Quellencodierung ermittelt, wobei sich bei der 
Quellencodierung eine Restfehlerinf ormation 
zwischen der Folge von Bildern und einer codierten 

30 Folge von Bildern ergibt; 

(2) die Zusatzinf ormation zur graduellen Darstellung 
einer Restfehlerinf ormation wird erzeugt, indem 
die Restfehlerinf ormation in Frequenzbereiche 
unterteilt und graduell skaliert wird; 

35 b) die Folge von Bildern anhand der Basisinf ormation und 

der Zusatzinf ormation codiert wird, wobei die 
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Zusatzinformation eine progressive Verbesserung der 
Codierungsqualitat gewahrleistet . 

Weiterhin wird zur Losung der Aufgabe eine Anordnung zur 
5 Decodierung einer Folge von Bildern mit einer 

Prozessoreinheit, die derart eingerichtet ist, daB jedes Bild 
der Folge von Bildern anhand der Basisinf ormation und der 
Zusatzinformation wiederherstellbar ist, Insbesondere ist 
diese Anordnung ein Decoder, der Basisinf ormation und 

10 Zusatzinformation geeignet auswertet. Ferner kann der Decoder 
eine bestimmten Dienst anfordern, der sich in Form 
unterschiedlicher Zusatzinf ormationen darstellt, bspw. Video=^ 
on-Demand in einer vorgegebenen Auflosung, die erst durch die 
Kombination von Basisinf ormation und Zusatzinformation 

15 erreicht wird. 

Die Anordnungen sind insbesondere geeignet zur Durchftihrung 
des jeweiligen erf indungsgemaJien Verfahrens oder einer seiner 
vorstehend erlauterten Weiterbildungen. 

20 

Ausftihrungsbeispiele der Erfindung werden nachfolgend anhand 
der Zeichnungen dargestellt und erlautert, 

Es zeigen 

25 

Fig.l eine Skizze, die ein Verfahren zur Quellenkodierung 
ver ans chaul icht ; 

Fig. 2 eine Skizze mit einer ersten Alternative zur 
30 Bestimmung einer Zusatzinformation; 

Fig. 3 eine Skizze mit einer zweiten Alternative zur 
Bestimmung einer Zusatzinformation; 



35 Fig. 4 



eine Skizze, die eine Zusammenfuhrung von 
Basisinformation und Zusatzinformation in einen 
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Bitstrom und dessen tJbertragung tiber einen Kanal 
darstellt; 

Fig. 5 eine Skizze, die eine Gruppierung von Frequenzen hzw, 
5 Koef f izienten darstellt; 

Fig. 6 eine Skizze zur Veranschaulichung der Bitebenen; 

Fig. 7 eine Skizze mit einem Bildcoder und einem 
10 Bilddecoder; 



Fig. 8 . eine Prozessoreinheit . 



15 In Fig.l ist eine Skizze gezeigt^ die ein Verfahren zur 

Quellencodierung veranschaulicht . Ein erstes vorzugsweise 
blockbasiertes Bild Bl 101 wird einer Transformation 102 
unterzogen. Ein Beispiel fUr solch eine Transformation ist 
eine diskrete Cosinustrans formation (DCT-Transf ormation) . Es 

20 ergeben sich die Koef f izienten der Transformation, 

dargestellt in Block 103. In einer Quantisierung 104 wird das 
Bild Bl 101 verlustbehaftet abgebildet. Eine 
Entropiecodierung 105 liefert die Basisinf ormation 112. Das 
quantisierte verlustbehaf tete Bild Bl 101 wird dequantisiert 

25 (siehe Block 106), es ergeben sich die zugehorigen 

Transformationskoeff izienten 107, eine inverse Transformation 
108 liefert ein zweites Bild B2 109, das gegentiber dem ersten 
Bild Bl 101 eine Restfehlerinf ormation, d.h. eine verminderte 
Bildqualitat, aufweist. Der Restfehler zwischen beiden 

30 Bildern Bl und B2 geht zuriick auf den Quantisierungsf ehler 

(siehe Block 104), der absichtlich in Kauf genommen wird, um 
innerhalb der Basisinf ormation eine Datenkomprimierung zu 
erhalten und die Basisinf ormation auch im Hinblick auf einen 
qualitativ schlechten Ubertragungskanal derart bemessen zu 

35 konnen, dass die tJbertragung sichergestellt ist. Insbesondere 
gibt es Basiskanale von nur geringer Bandbreite, so daI5 eine 
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hohe Datenreduktion Voraussetzung flir die Ubertragung einer 
Folge von Bildern ist. 

Weiterhin sind in Fig.l eine erste Restf ehlerinf ormation 
5 Rest_l 110 und eine zweite Restf ehlerinf ormation rest_2 111 
dargestellt, Beide Restf ehlerinf ormationen werden in den 
Figuren 2 und 3 weiterverarbeitet zur Erzeugung jeweils einer 
Zusatzinf ormation 206 bzw. 306. Prinzipiell ermoglicht eine 
vollstandige Codierung und tJbertragung der Restfehler- 
10 information eine vollstandige Rekonstruktion des Bildes Bl 
101 anhand der Basisinf ormation und der zu generierenden 
Zusatzinf ormation. - ■ - 

Fig. 2 zeigt eine Skizze mit einer ersten Alternative zur 

15 Bestimmung einer Zusatzinf ormation . Die in Fig. 1 

beschriebene erste Restf ehlerinf ormation rest_l 110 wird 
gewonnen anhand der Differenz zwischen dem erstem Bild Bl und 
dem zweitem Bild B2 (siehe 101 und 109 in Fig.l). Es ergibt 
sich somit ein Dif f erenzbild B_diff 201. Dieses Dif f erenzbild 

20 B_diff 201 wird einer Teilbandzerlegung 202 zugeftihrt. Die 
Teilbandzerlegung 202 kann insbesondere bestehen aus einer 
Wavelet-Transformation bzw. einer Wavelet-Packet- 
Transformation. Es ergeben sich fiir das Dif f erenzbild 201 
getrennt jeweils Tiefpass- und Hochpass-Anteile bzw. 

25 Mischungen aus Tiefpass- und Hochpass-Anteilen. Diese 

gefilterten Inf ormationen werden einer Entropiecodierung, die 
vorzugsweise qualitatsskalierbar ausgefuhrt ist (siehe Block 
204), zugeftihrt. In einem Block 205 werden die Daten einer 
Nachbearbeitung unterzogen mit dem Ziel, eine grofitmogliche 

30 Qualitatsverbesserung des nur aus der Basisinf ormation 112 
bestehenden codierten Bildes Bl zu erreichen. Dies wird 
insbesondere dadurch erreicht, dafi die Zusatzinf ormation 
derart bestimmt wird, daJi anfanglich die grofite Verbesserung 
bewirkt wird, wobei die Verbesserung selbst moglichst alle 

35 Blocke des codierten Bildes gleichermaiien betrifft. Auf 

besondere Moglichkeiten der Nachbearbeitung zur Erreichung 
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dieses Ziels wird in den nachf olgenden Ausf tihrungen 
verwiesen. 

Eine andere Alternative zur Bestimmung der Zusatzinf ormation 
5 ist in Fig. 3 dargestellt. In Anlehnung an Fig.l wird die 

Restf ehlerinformation rest_2 111 aus der Differenz von erstem 
Bild Bl und zweitem Bild B2, jeweils im Transf ormationsraum 
(siehe 103 und 107 in Fig.l), bestimmt. Es ergibt sich ein 
Dif f erenzbild 301 in dem Trans format ionsraum, das 

10 blockbasiert dargestellt ist, wobei ftir jeden Block bestimmte 
Frequenzanteile vorgegeben sind. Als Ergebnis einer DCT- 
Trans formation gibt es einen Gleichanteil und eine Vielzahl 
von Wechselanteilen. In einem Schritt 302 erfolgt eine 
Umsortierung dieser Frequenzbander derart, dass jeweils alle 

15 Gleichanteile bzw. alle Wechselanteile der jeweiligen 

Frequenzen zusammengef asst werden. Dies zeigt syitibolisch 
Block 303, der die gleiche Information der Koef f izienten wie 
Block 301 enthalt, allerdings sind die Koef f izienten fur die 
jeweiligen Frequenzbereiche bzw. den Gleichanteil uber alle 

2 0 Blocke zusammengef asst . Dieser Mechanismus der Umsortierung 
wird auch in Fig. 5 erlautert. Nach der Umsortierung der 
Frequenzbander erfolgt eine Entropiecodierung 304, die 
qualitatsskalierbar ausgefuhrt ist. Danach erfolgt eine 
Nachbearbeitung 305, so dass sich eine Zusatzinf ormation 306 

25 ergibt, die derart ausgeftihrt ist, dass die hinsichtlich der 
Qualitatsverbesserung signif ikanten Anteile zuerst Ober den 
Bit Strom tibertragen werden. 

Fig. 4 zeigt eine Skizze, die eine Zusammenftlhrung von der 
30 beschriebenen Basisinformation 112 und der Zusatzinformation 
(siehe 206 oder 306) in einen Bitstrom 401 darstellt. Diese 
Zusammenftihrung findet auf der Seite eines Encoders 404 
statt. Der Bitstrom 401 wird liber einen Kanal 402 an einen 
Empf anger bzw. Decoder 403 tibertragen. Der Kanal hat eine 
35 vorgegebene Bandbreite, die unter Umstanden gewissen 

Storeinf lussen unterliegt, so dass die Bandbreite selbst 
Schwankungen aufweisen kann. Nun ist es ein Ziel, die 
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Bandbreite des Kanals moglichst effizient auszunutzen, so 
dass beiiti Empfanger eine Folge von Bildern in bestmoglicher 
Qualitat dargestellt werden kann. Die Basisinf ormation 112 
gewahrleistet als Teil des Bitstroms 401 eine gewisse 
5 Grundqualitat^ die grundsatzlich tiber den Kanal beim 

Empfanger weitgehend ungestSrt ankommt und decodiert werden 
kann. Die sich daraus ergebende Qualitat der Folge von 
Bildern ist verbesserungsf ahig. Diese Qualitatsverbesserung 
wird durch die Zusatzinf ormation erreicht^ die dem Bitstrom 

10 401 beigefiigt und ebenfalls tiber den Kanal 402 zu dem 

Empfanger bzw. Decoder 403 iibertragen wird, Der Bitstrom 
stellt- eine Folge von Bits dar, wobei grundsatzlich ftir jedes 
Bild ein bestimmtes Zeitfenster zur Verfilgung steht. Schwankt 
jetzt die Bandbreite des Kanals innerhalb dieses 

15 Zeitf ensters, ist es durchaus moglich, dass nicht alle Daten 
bei dem Empfanger ankommen, so dass sorgfaltig zu wahlen ist, 
welche Zusatzinf ormation in welcher Reihenfolge in den 
Bitstrom eingearbeitet wird. Aus diesem Grund ist, wie oben 
ausgefiihrt, die Zusatzinf ormation derart ausgestaltet , dass 

20 Telle, die eine grofie Verbesserung zu der Basisinf ormation 

beitragen, moglichst fruhzeitig in den Bitstrom eingearbeitet 
werden. Weiterhin ist es ein besonderer Vorteil, wenn die 
Zusatzinf ormation, die fiir die Qualitatsverbesserung des 
Bildes zustandig ist, diese Qualitatsverbesserung gleichmafiig 

25 in dem gesamten Bild bewirkt. Dies wird dadurch 

sichergestellt, dass die signifikante Information, das heiJSt 
diejenigen Telle der Restfehlerinf ormation, die eine groJie 
Verbesserung ermSglichen, gleichmafiig tiber alle Blocke des 
codierten Bildes in den Bitstrom eingearbeitet werden, so 

30 dass auf der Seite des Empfangers, je nachdem wie viel 

Zusatzinf ormation innerhalb besagten Zeitfensters iibertragen 
werden konnte, eine gleichmaJBige Verbesserung ftir alle Blocke 
des Bildes erfolgt. Dazu wird bspw. die oben beschriebene 
Umsortierung der Frequenzbander eingesetzt. So zielen die 

35 umsortierten Frequenzbander gerade darauf ab, dass zuerst 

alle Blocke des Bildes eine groJie Verbesserung erfahren und 
danach graduell die Qualitat welter verbessert wird. ReiBt 
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zwischendurch der Bitstrom der Zusatzinf ormation ab, so wurde 
bis dahin eine nahezu optiiaale Verbesserung des Bildes 
erreicht und damit die bereitgestellte Bandbreite effizient 
ausgenutzt . 

5 

Fig. 5 zeigt eine Skizze^ die die oben beschriebene 
Gruppierung bzw. Umsortierung von Frequenzen (Koef f izienten) 
darstellt . 

10 Ein Tail 501 zeigt einen Ausschnitt aus dem transf ormierten 
Bild (siehe 301 in Fig, 3) . Das Bild umfasst raehrere 
Bildblocke, auch Macroblocke, lait vorzugsweise 8x8 oder 16x16 
Pixeln. Ein solcher Macroblock mit einer GroJJe von 4x4 
Pixeln, hier Koef f izienten im Transf oritiationsbereich;. ist als 

15 Block 502 dargestellt. Der Block 502 umfasst laehrere 

Koef f izienten, ein Teil der Koef f izienten ist dargestellt als 
die Koef f izienten Al, Bl, CI, Dl, und El. Ebenso wie der 
Macroblock 502 sind die nachf olgenden Macroblocke in dem Bild 
501 aufgebaut, Beispielhaft ist fur jeden Macroblock der 

20 erste Koeffizient A2 bis A9 dargestellt. Vorzugsweise handelt 
es sich bei dem ersten Koef f izienten um den Gleichanteil, der 
hinsichtlich der Verbesserung des Bildes eine bedeutende 
Rolle spielt. Nach der Umsortierung ergibt sich eine Struktur 
wie im Block 503 dargestellt. Das transf ormierte Bild 301 

25 bzw. 501 wird umsortiert derart, dass so viele Unterblocke 
entstehen, wie es unterschiedliche Koef f izienten gibt. 
Beispielsweise ist in Block 503 ein Unterblock 504 mit alien 
Gleichanteilen aller Macroblocke des transf ormierten Bildes 
301 bzw. 501 enthalten. Die Gleichanteile in dem Block 504 

30 sind dargestellt als Koef f izienten Al bis A9. Analog sind 
alle jeweils gleichartigen Wechselanteile B bis E jeweils 
zusammengef asst . 

Damit kann besonders vorteilhaft innerhalb der 
35 Zusatzinf ormation jeweils eine gleichmaiJige Verbesserung ftir 
alle Macroblocke erreicht werden. 
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Nun soli als Tell der Zusatzinf ormation zumindest ftir alle 
Macroblocke des Bildes der Gleichanteil, dargestellt als 
Block 504 in Fig. 5^ zu dem EmpfSnger tibertragen warden. Dabei 
stellt sich wiederum die Frage, wie eine moglichst effiziente 
5 Verbesserung anhand der iibertragenen Zusatzinf ormation 
erzielt werden kann. So ist es insbesondere von Nachteil, 
erst den Koef f izienten Al in voller Auflosung, dann den 
Koef f izienten A2 in voller AuflSsung und sofort zu 
tibertragen. Vielmehr ist es vorteilhaft, einen signif ikanten 

10 Anteil des Koef f izienten Al, dann den signif ikanten Anteil 
des Koef f izienten A2 usf . zu tibertragen. Somit kann 
sichergestel-lt werden, dass die Zusatzinf ormation ef f izient 
und frtihzeitig fur alle Koef f izienten Al bis A9, also ftir 
alle in Frage kommenden Macroblocke eine Verbesserung 

15 erreicht, wobei die Auflosung der Verbesserung selbst 

schrittweise nachgereicht werden kann. Die Auflosung der 
Verbesserung bezieht sich auf die Anzahl der Bits, die jeder 
Koef f izient aufweist. 

20 Dieser Zusammenhang ist in Fig. 6 dargestellt. 

Fig. 6 zeigt eine Skizze zur Veranschaulichung von Bitebenen. 
Dabei wird Bezug genommen auf den Unterblock 504 aus Fig. 5 
und die zugehorigen Erlauterungen. Wie beschrieben hat jeder 

25 Koef f izient Al bis A9 eine Auflosung von n Bit. n ist im 

vorgegebenen Beispiel von Fig. 6 gleich 6. Somit gibt es fiir 
jeden Koef f izienten ein Bit mit einer hochsten Wertigkeit 
(Most Significant Bit, MSB) . Im Hinblick auf eine effiziente 
Ausnutzung der Zusatzinf ormation in dem Bitstrom ist es 

30 vorteilhaft, wenn zuerst fur alle Koef f izienten Al bis A9 das 
hochstwertige Bit tibertragen wird. Danach wird das 
verbleibende hSchstwertige Bit und so fort tibertragen. 

Hierbei sei angemerkt, dass die Koef f izienten Al bis A9 
35 lediglich einen Ausschnitt darstellen, anhand dessen die 
Vorgehensweise der effizienten Zusaitimenstellung der 
Zusatzinf ormation veranschaulicht werden soil. 
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Wird der Bitstrom innerhalb der zu tibertragenden 
. Zusatzinformation an einer bestimmten Stelle abgebrochen^ so 
ist mit dem beschriebenen Mechanismus sichergestellt, dass 
5 die bereits tibertragene Zusatzinformation das Bild auf 
Decoderseite effizient verbessert. 

Eine Verfeinerung der beschriebenen Vorgehensweise besteht 
darin, dass, gerade innerhalb der Nachverarbeitung (siehe 

10 Blocke 205 und 305) eine Vorbereitung der Zusatzinformation 
geschieht, die entsprechend ihrer tJbertragungsreihenf olge am 
Anfang die groiitmogliche Verbesserung des jeweiligen Bildes 
bewirkt. So kann beispielsweise eine Nachverarbeitung 
hinsichtlich einer RD-Optimierung ("Rate Distortion"- 

15 Optimierung) erfolgen, die darin besteht, dass die 

Zusatzinformation so umorganisiert wird, dass diejenigen 
Inf ormationen zuerst in den Bitstrom gestellt warden, die 
eine grofitmogliche Verbesserung bedingen, das heiJit eine 
hochstmogliche Reduktion der Verzerrung bzw. des Restfehlers 

20 bewirken. 

Weiterhin kann die Basisinf ormation zur Ef f izienzsteigerung 
eingesetzt werden. So kann beispielsweise aus der Verwendung 
unterschiedlicher Quantisierungsparameter in einer 
25 blockbasierten Basisschichtcodierung auf insignif ikante 
Bereiche geschlossen werden, die bei der Codierung 
ilbersprungen werden konnen. 

Nachfolgend wird die Nachverarbeitung beschrieben: 

30 

UMSORTIERUNG DES RESTFEHLERS BZW. DER RESTFEHLERINFORMATION 
IN DEN FREQUENZBEREICHEN ( FREQUENZBANDERN) : 

Vor der eigentlichen Codierung der Restfehler erfolgt eine 
35 Umsortierung der Restfehlerinf ormation in Teilbander jeweils 
gleicher Frequenz* Ausgehend von einer blockbasierten 
Transformation werden die (n, m) Transf ormationskoef f izienten 
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des i-ten Block auf die i-te Stelle des (n, la) Frequenzbandes 
ubertragen (siehe Fig*5). 



BITEBENENZUWEISUNG : 

5 

Eine Moglichkeit der Restf ehlerdarstellung besteht in der 
expliziten Zuweisung von Bitebenen ftir einen Koef f izienten in 
Abhangigkeit von der in der Basisschicht, also der die 
Basisinf ormation liefernden Quellencodierung, realisierten 

10 Quant isierung* Hierbei wird das entsprechende 

Quant isierungsintervall der Basisschicht rait seinen Randern 
far die Weiterverarbeitung ftir -.die Zusatzinf ormation 
rekonstruiert . Die Bitebenen ergeben sich nun durch 
fortlaufende Zerlegung des betreffenden Intervalls in zwei 

15 Halften, Befindet sich ein positiver Original-Koef f izient im 
linken bzw. rechten Teilintervall^ so wird dem Restf ehler in 
der aktuellen Bildebene eine Null bzw. eine Eins zugewiesen; 
fur negative Koef f izienten gilt spiegelbildlich das Gleiche. 

20 Die maxiiuale Anzahl der Bitebenen, entsprechend der maxiiualen 
Anzahl von Intervallteilungen, wird dabei vorgegeb'en und die 
individuelle Anzahl der Bitebene ist dann abhangig von der 
jeweiligen Quantisierung in der Basisschicht. Koef f izienten 
mit einer groben Quantisierung in der Basisschicht erhalten 

25 mehr Bitebenen (entsprechend mehr Verf einerungen als 

Koef f izienten mit einer bereits f einen Quantisierung. Das so 
gewonnene Wissen, wieviel Bits pro Koeffizient zu senden 
sind, kann auch eingesetzt werden, um Verf einerungen spater 
zu senden. 

30 

Das Konzept der Bitebenenzuweisung bewirkt bei Verwendung 
einer blockbasierten Transformation mit einer blockabhSngigen 
(ortsabhangigen) Auswahl des Quantisierungsparameters in der 
Basisschicht, hervorgeruf en beispielsweise durch eine 
35 Bitratenkontrolle, einen effizienten Ausgleich von 

Ungleichheiten innerhalb der Schicht zur Generierung der 
Zusatzinformation (Erweiterungsschicht) . Schwanken die 
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Quant isierungsparameter ftir die einzelnen Macroblocke stark 
innerhalb eines Bildes, so werden diese Schwankungen mit 
jeder gesendeten Bitebene in der Erweiterungsschicht 
vermindert und streben so einer gleichmaJSigen (unter 
5 Berticksichtigung der Basisinf ormation und der 

Zusatzinf ormation) Quantisierung zu, was sich in einer 
gleichmaBigen Qualitat auf der Seite des Decoders 
wiederspiegelt . 

10 Die Koef f izienten werden in Abhangigkeit der in der 

Erweiterungsschicht decodierten Information rekonstruiert . 
Ausgehend vom initialen Quantisierungsintervall der 
Basisschicht wird dieses Intervall so oft verfeinert, wie 
Bits fur die Koef f izienten decodiert wurden. AnschlieiSend 

15 folgt die Zuweisung eines Rekonstruktionswertes innerhalb des 
resultierenden Intervalls, beispielsweise durch den 
Intervallmittelpunkt . 

Ein weiterer Vorteil der Darstellung des Restfehlers uber die 
20 oben beschriebene Methode der Bitebenenzuweisung besteht 
darin, dass die Vorzeicheninf ormation nur ftir die 
Koef f izienten gesendet wird, die in der Erweiterungsschicht 
erstmalig signifikant werden. 

25 RESTFEHLERDARSTELLUNG UBER REFERENZRESIDUEN; 

Neben der expliziten Berechnung des Residuijms zwischen 
Original und Rekonstruktion stellt die Dif f erenzbildung 
zwischen einem (fiktiven) Referenzwert eines rekonstruierten 
30 Koef f izienten der Basisschicht und dem zugehorigen Original- 
Koeff izienten eine weitere Moglichkeit der 

Restf ehlerdarstellung dar. Dabei bewirkt die Verwendung eines 
Ref erenzwertes, der bei positiven (negativen) Koef f izienten 
auf den linken (rechten) Rand des Quantisierungsintervalls 
35 der Basisschicht gesetzt wird, dass keine unnotige 

Vorzeicheninf ormation gesendet werden muss. Weiterhin sollte 
ftir jedes Teilband die Bitebene in der erstmalig ein 
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Teilbandkoef f izient signifikant wird, identif iziert warden 
(Most Significant Bitplan) , urn ein unnStiges Codieren von 
Nullebenen zu vermeiden. 



TEILBAiSTDBASIERTE CODIERTECHNIKEN Ft)R DIE ERWEITERUNGSSCHICHT 
1 • Signifikanz- b2w> Verfeinerungs information 

10 Die Codierung unterscheidet ftir jeden Koef f izienten 

zwischen zwei Zustanden, dem Signifikanz- und 
. Verfeinerungszustand. Dabei befindet sich ein Koeffizient 
solange in dem Signif ikanzzustand, wie fur ihn keine 
signifikante Information vorliegt, das heiiJt, bei einer 

15 Rekonstruktion wurde der Koeffizient auf die Null 

abgebildet werden. Es wird auf das Anzeigen seiner 
Signifikanz gewartet^ wobei ein Koeffizient signifikant in 
der k-ten Bitebene wird, wenn seine Amplitude a im Bereich 

20 2^ ^ |a| < 2^"^^ 

liegt. Wird das erste Mai eine "1" gesendet, so andert der 
Koeffizient nach der Codierung dieser "1" seinen Zustand, 
er geht tiber in den Verfeinerungszustand und alle 
25 folgenden Bits werden als Verf einerungsbits bezeichnet. 

Der aktuelle Zustand der Koef f izienten wird mit Hilfe 
einer binarwertigen Signif ikanzmatrix beschrieben. Diese 
wird fortlaufend aktualisiert . Eine "1" in der Matrix 
30 indiziert, dass der Koeffizient bereits seine Signifikanz 

angezeigt hat und sich damit im Verfeinerungszustand 
befindet, Eine Null entspricht dem Signif ikanzzustand, das 
heiBt, fiir den Koef f izienten wird die Signifikanz noch 
erwartet . 

35 

Auf der Grundlage der Signif ikanzmatrix wird die 
Entscheidung getroffen, in welchem Durchlauf (der 
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fraktalen Bitebene) und mit welcher Routine ein aktuell zu 
codierendes Bit zu bearbeiten ist. Dabei wird die 
Signif ikanzmatrix nach der Codierung eines Bits sofort 
aktualisiert . 

5 

Da es sich bei der Codierung in der Erweiterungsschicht urn 
einen Restfehler handelt, ist es wichtig, so viel 
Information aus der Basisschicht wie moglich fiir die 
Zwecke der Codierung zu nutzen. So ist es beispielsweise 
10 sinnvoll^ die Signif ikanzmatrix zu Beginn der Codierung in 

der Erweiterungsschicht mit der Signif ikanzinformation aus 
der Basisschicht zu initialisieren. 

2 • Codierwerkzeuge 

15 

In Abhangigkeit von der Umgebung eines Koef f izienten und 
seinem Zustand werden unterschiedliche Routinen zur 
Codierung des aktuellen Bits verwendet. Gemeinsam ist 
dabei alien Routinen die Verwendung einer adaptiven 
20 arithmetischen Codierung der binaren Syrabole, wobei eine 

Kontextbildung die Effizienz der Routinen in geeigneter 
Weise untersttitzt. 

Signif ikanzrou tine : 

25 Die Codierung der Signif ikanzinformation erfolgt mit einer 

Kontextbildung^ in die die Signif ikanzzustande aus der 
unmittelbaren Umgebung des jeweils aktuell zu 
koordinierenden Koef f izienten eingehen, 

30 Vorzeichenroutine : 

Bei der Codierung der Vorzeicheninf ormation werden 
Kontexte, bestehend aus der Vorzeicheninf ormation der 
unmittelbaren Umgebung des aktuell zu codierenden 
Koef f izienten verwendet. Diese Routine wird jedoch nur 
35 aufgerufen, wenn ein Koeffizient das erste Mai seine 

Signif ikanz anzeigt . 
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Routinen zum Zusammenfassen insignif ikanter Nullen: 

Zur effizienten Codierung der Signif ikanzinf ormation in 
signifikant gebliebener Nullen einer Bitebene konnen 
Nullraiame (Zero-Trees) bzw. Lauflangen verwendet werden. 

5 

Verf einerungsroutine : 

Die Codierung von Verf einerungsbits erfolgt in den oberen 
Bitebenen, also nach dem erstmaligen Auftreten der 
Signif ikanz, mit einer Kontextbildung, in die die 
10 Signif ikanzzustSnde benachbarter Koef f izienten eingehen; 

in den darunter liegenden Bitebenen wird nur noch ein 
adaptives Modell verwendet. 

3 . Konzept der fraktalen Bitebene 

15 

Konventionelle Bitebenencodierer codieren die Bits einer 
Bitebene nacheinander mit geeigneten Routinen in einem 
Durchlauf . Die Idee der fraktalen Bitebene besteht darin^ 
in mehreren Durchlaufen die aktuell zu codierende Bitebene 
20 abzutasten und die Bits entsprechend ihres Zustandes und 

ihrer Umgebung einer fraktalen Bitebene zuzuordnen. 

Die zugrunde liegende Scanordnung innerhalb eines Bandes 
wird damit einer gewissen Wertigkeit (Prioritat vor 

25 Lokalitat) untergeordnet . Information, von der erwartet 

wird, dass sie im starkeren MaJie die RD-Funktion (RD = 
Rate Distortion) optimal beeinflusst, ist zuerst zu 
senden. Erst durch dieses Konzept ist es moglich, auch 
innerhalb einer Bitebene optimale RD-Abschneidestellen zu 

30 finden und damit die Granular itat zu erhohen. 



Vorteilhaft sind mindestens drei Durchlauf e pro Bitebene. 
Der erste Durchlauf einer Bitebene codiert 

Signif ikanzinf ormation nur unter der Bedingung, dass sich 
35 der Koeffizient in einer signif ikanten Umgebung befindet. 

Im zweiten Durchlauf wird die reine 

Verf einerungsinf ormation codiert, wahrend im dritten 
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Durchgang die restliche, noch fehlende 
Signif ikanzinformation codiert wird.. Allen drei 
Durchlaufen werden die jeweiligen Codierroutinen, wie sie 
oben beschrieben wurden^ zugeordnet. 

Alternativ konnen die letzten beiden Durchiaufe auch in 
vertauschter Reihenfolge durchgefUhrt werden • 



4. Abarbeitungsreihenfolge der einzelnen Teilbander bzw. 
10 Koiuponenten 

1st keine Moglichkeit zu einer nachtraglichen RD- 
Optimierung innerhalb der Nachbearbeitung 205 oder 305 
vorgesehen, so ist es notwendig, eine 
15 Abarbeitungsreihenfolge der einzelnen Bander bzw. 

Komponenten und daiait die Position ihrer entsprechenden 
Anteil im Bitstrom festzulegen. Fur die Bandanordnung ist 
der zigzag-Scan als geeignet anzusehen. 



20 NACHTRAGLICHE RATE-DISTORTION-OPTIMIERUNG (NACHBEARBEITUNG) 

Ein weiteres Werkzeug zur Steigerung der Effizienz besteht in 
der nachtraglichen Rate-Distortion-Optimierung. Nachtraglich 
heiJit in diesem Fall, dass nach der eigentlichen Codierung 

25 einzelne Codesegmente im Bitstrom neu arrangiert werden. 
Dieses Konzept setzt voraus, dass der Bitstrom in 
Codesegmente (durch eine unabhangige Codierung) zerlegbar ist 
und Information uber das Rate-Distortion-Verhalten der 
einzelnen Segmente existiert. Hier beeinflusst die Grofie der 

30 Codesegmente die Feinheit der Skalierbarkeit . 

Fig. 7 zeigt eine Skizze einer Anordnung zur Durchfiihrung 
eines blockbasierten Bildcodierverf ahrens . 



35 



Ein zu codierender Videodatenstrom mit zeitlich 

auf einanderfolgenden digitalisierten Bildern wird einer 

Bildcodierungseinheit 1201 zugefuhrt. Die digitalisierten 
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Bilder sind unterteilt in Makroblocke 12 02, wobei jeder 
Makroblock 16x16 Bildpunkte hat. Der Makroblock 1202 ucafaBt 
vier Bildblocke 1203, 1204, 1205 und 1206, wobei jeder 
Bildblock 8x8 Bildpunkte, denen Luiainanzwerte 
5 (Helligkeitswerte) zugeordnet sind, enthait. Weiterhin umfaiit 
jeder Makroblock 1202 zwei Chrominanzblocke 1207 und 1208 mit 
den Bildpunkten zugeordneten Chrominanzwerten 
(Farbdif f erenzwerte) . 

10 Alternativ k5nnen die Bildblocke eine Grofie von 4x4 
Bildpunkten umfassen. Dementsprechend enthalten die 
Macroblocke 16 Bildblocke... Dies wird vorzugsweise eingesetzt 
im H. 2 6L-Test3iiodell . 



15 Die Bildblocke werden einer Transf ormationscodierungseinheit 
1209 zugefiihrt. Bel einer Dif f erenzbildcodierung werden zu 
codierende Werte von Bildblocken zeitlich vorangegangener 
Bilder von den aktuell zu codierenden Bildblocken abgezogen, 
es wird nur die Dif f erenzbildungsinf ormation 1210 der 

20 Transformationscodierungseinheit (Diskrete Cosinus 

Transformation, DCT) 1209 zugefiihrt. Dazu wird tlber eine 
Verbindung 1234 der aktuelle Makroblock 1202 einer 
Bewegungsschatzungseinheit 1229 mitgeteilt. In der 
Transforiaationscodierungseinheit 1209 werden fiir die zu 

25 codierenden Bildblocke bzw. Dif f erenzbildblScke 
Spektralkoef f izienten 1211 gebildet und einer 
Quantisierungseinheit 1212 zugefiihrt. 

Quantisierte Spektralkoef f izienten 1213 werden sowohl einer 
Scaneinheit 1214 als auch einer inversen 

30 Quantisierungseinheit 1215 in einem Rtickwartspf ad zugefuhrt. 
Nach einem Scanverf ahren, z.B. einem "zigzag""-Scanverf ahren, 
wird auf den gescannten Spektralkoef f izienten 1232 eine 
Entropiecodierung in einer dafur vorgesehenen 
Entropiecodierungseinheit 1216 durchgefiihrt . Die 

35 entropiecodierten Spektralkoef f izienten werden als codierte 
Bilddaten 1217 tiber einen Kanal, vorzugsweise eine Leitung 
Oder eine Funks trecke, zu einem Decoder tibertragen. 
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In der inversen Quantisierungseinheit 1215 erfolgt eine 
inverse Quantisierung der quantisierten Spektralkoef f izienten 
1213. So gewonnene Spektralkoef f izienten 1218 werden einer 
5 inversen Transf ormationscodierungseinheit 1219 (Inverse 
Diskrete Cosinus Transformation, IDCT) zugeftihrt. 
Rekonstruierte Codierungswerte (auch Dif f erenzcodierungs- 
werte) 1220 werden im Dif f erenzbildmodus einen Addierer 1221 
zugeftihrt. Der Addierer 1221 erhalt ferner Codierungswerte 
10 eines Bildblocks, die sich aus einem zeitlich vorangegangenen 
Bild nach einer bereits durchgeftihrten Bewegungskompensation 
ergeben. Mit dem Addierer 1221 werden rekonstruierte 
Bildblocke 1222 gebildet und in einem Bildspeicher 1223 
abgespeichert . 

15 

Chrominanzwerte 1224 der rekonstruierten Bildblocke 1222 
werden aus dem Bildspeicher 1223 einer 
Bewegungskompensationseinheit 1225 zugeftihrt. Ftir 
Helligkeitswerte 1226 erfolgt eine Interpolation in einer 

20 daftir vorgesehenen Interpolationseinheit 1227. Anhand der 
Interpolation wird die Anzahl in dem jeweiligen Bildblock 
enthaltener Helligkeitswerte vorzugsweise verdoppelt. Alle 
Helligkeitswerte 1228 werden sowohl der 
Bewegungskompensationseinheit 1225 als auch der 

25 Bewegungsschatzungseinheit 1229 zugeftihrt. Die 

Bewegungsschatzungseinheit 1229 erhait auBerdem die 
Bildblocke des jeweils zu codierenden Makroblocks (16x16 
Bildpunkte) tiber die Verbindung 1234. In der 
Bewegungsschatzungseinheit 1229 erfolgt die 

30 Bewegungsschatzung unter Berucksichtigung der interpolierten 
Helligkeitswerte ("Bewegungsschatzung auf Halbpixelbasis") . 
Vorzugsweise werden bei der Bewegungsschatzung absolute 
Differenzen der einzelnen Helligkeitswerte in dem aktuell zu 
codierenden Makroblock 12 02 und dem rekonstruierten 

35 Makroblock aus dem zeitlich vorangegangenen Bild ermittelt. 
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Das Ergebnis der Bewegungsschatzung ist ein Bewegungsvektor 
123 0,. durch den eine ortliche Verschiebung des ausgewahlten 
Makroblocks aus dem zeitlich vorangegangenen Bild zu dem zu 
codierenden Makroblock 1202 zuia Ausdruck kommt. 

5 

Sowohl Helligkeitsinformation als auch Chrominanz information 
bezogen auf den durch die Bewegungsschatzungseinheit 1229 
ermittelten Makroblock werden inu den Bewegungsvektor 1230 
verschoben und von den Codierungswerten des Makroblocks 1202 
10 subtrahiert (siehe Datenpfad 1231) . 

In Fig. 8 ist eine Prozessoreinheit PRZE dargestellt. Die 
Prozessoreinheit PRZE uiufaUt einen Prozessor CPU, einen 
Speicher MEM und eine Input/Output-Schnittstelle lOS, die 

15 tlber ein Interface IFC auf unterschiedliche Art und Weise 

genutzt wird: Uber eine Graf ikschnittstelle wird eine Ausgabe 
auf einem Monitor MON sichtbar und/oder auf einem Drucker PRT 
ausgegeben. Eine Eingabe erfolgt liber eine Maus MAS oder eine 
Tastatur TAST. Auch verfligt die Prozessoreinheit PRZE liber 

2 0 einen Datenbus BUS, der die Verbindung von einem Speicher 

MEM, dem Prozessor CPU und der Input/Output-Schnittstelle lOS 
gewahrleistet. Weiterhin sind an den Datenbus BUS zusatzliche 
Komponenten anschlieJibar, z.B. zusatzlicher Speicher, 
Datenspeicher (Festplatte) oder Scanner. 



25 
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Patentanspruche 

1. Verfahren zur Codierung einer Folge von Bildern, 

a) bei dem ftir die Folge von Bildern eine 

5 Basisinf ormation und eine Zusatzinf ormation bestimmt 

werden anhand der folgenden Schritte: 

(1) die Basisinf ormation wird anhand eines Verfahrens 
zur Quellencodierung ermittelt, wobei sich bei der 
Quellencodierung eine Restfehlerinf ormation 

10 zwischen der Folge von Bildern und einer codierten 

Folge von Bildern ergibt; 

(2) die Zusatzinf ormation zur graduellen Darstellung 
einer Restfehlerinf ormation wird erzeugt, indem 
die Restf ehlerinformation in Frequenzbereiche 

15 unterteilt und graduell skaliert wird; 

b) bei dem die Folge von Bildern anhand der 
Basisinf ormation und der Zusatzinf ormation codiert 
wird, wobei die Zusatzinf ormation eine progressive 
Verbesserung der Codierungsqualitat gewahrleistet . 

20 

2. Verfahren nach Anspruch 1, 

bei dem die Folge von Bildern als ein Bitstrom uber einen 
Kanal zu einem Empf anger iibertragen wird, 

25 3. Verfahren nach Anspruch 2, 

bei dem der Kanal Storungen ausgesetzt ist. 

4. Verfahren nach einem der vorhergehenden AnsprUche, * 
bei dem die Restf ehlerinformation aus einem Bild der 

30 Folge von Bildern und dem quant isierten Bild der Folge 

von Bildern in einem Bildbereich ermittelt wird. 

5. Verfahren nach einem der vorhergehenden Anspriiche, 
bei dem die Restf ehlerinformation aus einem Bild der 

35 Folge von Bildern und dem quantisierten Bild der Folge 

von Bildern in einem Transf ormationsbereich ermittelt 
wird. 
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6. Verfahren nach einem der vorhergehenden Anspruche, 
bei dem das Verfahren zur Que llenco die rung ein 
standardisiertes Bildcodierverf ahren ist. 

7. Verfahren nach Anspruch 6, 

bei dem das standardisierte Bildcodierverf ahren ein 
Verfahren nach einem MPEG-Standard oder nach einem H.2 6x~ 
Standard ist. 

8. Verfahren nach einem der Anspriiche 2 bis 7, 
bei dem die Unterteilung in Frequenzbereiche 
durchgeftihrt wird, daB die Zusatzinf ormation 
Bild der Folge von Bildern ihrer Wichtigkeit 
•Qbertragen wird. 

9. Verfahren nach einem der Anspruche 2 bis 8^^ 
bei dem tiber eine vorgegebene Menge von Werten der 
Zusatzinformation iterativ ftir alle Werte dieser Menge 
jeweils die werthochsten Bits in den Bitstrom eingespeist 
werden. 

10. Verfahren nach einem der Anspruche 2 bis 9, 
bei dem als Zusatzinformation die groBte 

Res tfehlerinf ormation zuerst tibertragen wird. 

11. Verfahren nach einem der vorhergehenden Anspruche, 
bei dem bei der Ermittlung der Zusatzinformation die 
Basisinf ormation berucksichtigt wird. 

12. Verfahren zur Decodierung einer Folge von Bildern, die 
nach' einem der vorhergehenden Anspruche codiert wurde, 
bei dem jedes Bild der Folge von Bildern anhand der 
Basisinformation und der Zusatzinformation 
wiederhergestellt wird. 



derart 
fiir jedes 
nach 
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13. Anordnung zur Codierung einer Folge von Bildern, 

bei der eine Prozessoreinheit vorgesehen ist, die derart 
eingerichtet ist, daJi 

a) fur die Folge von Bildern eine Basisinf ormation und 
eine Zusatzinf ormation bestimmt sind anhand der 
folgenden Schritte: 

(3) die Basisinf ormation wird anhand eines Verfahrens 
zur Que llencodie rung ermittelt, wobei sich bei der 
Quellencodierung eine Restfehlerinf ormation 
zwischen der Folge von Bildern und einer codierten 
Folge von Bildern ergibt; 

(4) die Zusatzinf ormation zur graduellen Darstellung 
einer Restfehlerinf ormation wird erzeugt, indem 
die Restfehlerinformation in Frequenzbereiche 
unterteilt und graduell skaliert wird; 

b) die Folge von Bildern anhand der Basisinf ormation und 
der Zusatzinformation codiert wird, wobei die 
Zusatzinformation eine progressive Verbesserung der 
Codierungsqualitat gewahrleistet . 

14- Anordnung zur Decodierung einer Folge von Bildern, 

bei der eine Prozessoreinheit vorgesehen ist, die derart 
eingerichtet ist, dafi jedes Bild der Folge von Bildern 
anhand der Basisinf ormation und der Zusatzinformation 
wiederherstellbar ist . 
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